Tariffazione con i GLM

Statistica Assicurativa

Leonardo Stincone, 10/02/2020

/* Percorso in cui si trovano i dati */
libname dati '/folders/myfolders/data';

/* Parametri grafici */
ods graphics on / width = 10cm height = 8cm;

/* Carico il dataset con le polizze */
data polizze;
    set dati.polizze;
run;

data polizze;
    set polizze;
    freqsin = nsin / espo;
run;

/* Creo un dataset con le sole polizze sinistrate */
data polizze_sin;
    set polizze;
    where nsin > 0;
    dannomedio = dannotot / nsin;
run;

proc print data = polizze (obs=10) round;
run;

SAS Connection established. Subprocess id is 2476

1) Analisi preliminari

proc means data = polizze nway noprint;
    var espo nsin dannotot;
    output out = polizzeMeans sum = totespo totnsin totdannotot;
run;

data polizzeMeans;
    set polizzeMeans;
    
    totfreqsin = totnsin / totespo;
    if totnsin > 0 then totdannomed = totdannotot / totnsin;
        else totdannomed=0;
    totqd = totdannotot / totespo;
    
    drop _TYPE_;
    rename _FREQ_ = totnpol;
    
    format totfreqsin 5.3;
    format totespo 10.2;
    format totdannotot 10.2;
    format totqd 10.2;
run;

proc print data = polizzeMeans noobs round;
    var totfreqsin totdannomed totqd totespo;
run;

proc means data = polizze maxdec = 2;
    var eta potf potkil massa;
    weight espo;
run;

1. Sesso

proc means data = polizze nway noprint;
    class sesso;
    var espo nsin dannotot;
    output out = polizzebysesso sum = totespo totnsin totdannotot;
run;

data polizzebysesso;
    set polizzebysesso;
    
    totfreqsin = totnsin / totespo;
    if totnsin > 0 then totdannomed = totdannotot / totnsin;
        else totdannomed=0;
    totqd = totdannotot / totespo;
    
    drop _TYPE_;
    rename _FREQ_ = totnpol;
    
    format totfreqsin 5.3;
    format totespo 10.2;
    format totdannotot 10.2;
    format totqd 10.2;
run;

proc print data = polizzebysesso noobs;
    var sesso totfreqsin totdannomed totqd totespo;
run;

proc sgplot data=polizze;
    vline sesso / response=freqsin weight=espo stat=mean limitstat=clm alpha = .05;
run;

proc sgplot data=polizze_sin;
    vline sesso / response=dannomedio weight=nsin stat=mean limitstat=clm alpha = .05;
run;

2. Capoluogo

proc means data = polizze nway noprint;
    class capoluogo;
    var espo nsin dannotot;
    output out = polizzebycapoluogo sum = totespo totnsin totdannotot;
run;

data polizzebycapoluogo;
    set polizzebycapoluogo;
    
    totfreqsin = totnsin / totespo;
    if totnsin > 0 then totdannomed = totdannotot / totnsin;
        else totdannomed=0;
    totqd = totdannotot / totespo;
    
    drop _TYPE_;
    rename _FREQ_ = totnpol;
    
    format totfreqsin 5.3;
    format totespo 10.2;
    format totdannotot 10.2;
    format totqd 10.2;
run;

proc print data=polizzebycapoluogo noobs;
    var capoluogo totfreqsin totdannomed totqd totespo;
run;

proc sgplot data=polizze;
    vline capoluogo / response=freqsin weight=espo stat=mean limitstat=clm alpha = .05;
run;

proc sgplot data=polizze_sin;
    vline capoluogo / response=dannomedio weight=nsin stat=mean limitstat=clm alpha = .05;
run;

3. Bendie

proc means data = polizze nway noprint;
    class bendie;
    var espo nsin dannotot;
    output out=polizzebybendie sum=totespo totnsin totdannotot;
run;

data polizzebybendie;
    set polizzebybendie;
    
    totfreqsin = totnsin / totespo;
    if totnsin > 0 then totdannomed = totdannotot / totnsin;
        else totdannomed=0;
    totqd = totdannotot / totespo;
    
    drop _TYPE_;
    rename _FREQ_ = totnpol;
    
    format totfreqsin 5.3;
    format totespo 10.2;
    format totdannotot 10.2;
    format totqd 10.2;
run;

proc print data = polizzebybendie noobs;
    var bendie totfreqsin totdannomed totqd totespo;
run;

proc sgplot data=polizze;
    vline bendie / response=freqsin weight=espo stat=mean limitstat=clm alpha = .05;
run;

proc sgplot data=polizze_sin;
    vline bendie / response=dannomedio weight=nsin stat=mean limitstat=clm alpha = .05;
run;

4. Prov

proc means data = polizze nway noprint;
    class prov;
    var espo nsin dannotot;
    output out = polizzebyprov sum = totespo totnsin totdannotot;
run;

data polizzebyprov;
    set polizzebyprov;
    
    totfreqsin = totnsin / totespo;
    if totnsin > 0 then totdannomed = totdannotot / totnsin;
        else totdannomed=0;
    totqd = totdannotot / totespo;
    
    drop _TYPE_;
    rename _FREQ_ = totnpol;
    
    format totfreqsin 5.3;
    format totespo 10.2;
    format totdannotot 10.2;
    format totqd 10.2;
run;

proc sort data = polizzebyprov;
    by descending totfreqsin;
run;

proc print data = polizzebyprov (obs = 10);
    var prov totfreqsin totdannomed totqd totespo;
run;

/* Parametri grafici */
ods graphics on / width = 16cm height = 10cm;

proc sgplot data=polizze;
    vline prov / response=freqsin weight=espo stat=mean limitstat=clm alpha = .05
                 categoryorder=respdesc;
    yaxis min = 0.05 max = 0.25;
run;

5. eta

proc means data = polizze nway noprint;
    class eta;
    var espo nsin dannotot;
    output out = polizzebyeta sum = totespo totnsin totdannotot;
run;

data polizzebyeta;
    set polizzebyeta;
    
    totfreqsin = totnsin / totespo;
    if totnsin > 0 then totdannomed = totdannotot / totnsin;
        else totdannomed=0;
    totqd = totdannotot / totespo;
    
    drop _TYPE_;
    rename _FREQ_ = totnpol;
    
    format totfreqsin 5.3;
    format totespo 10.2;
    format totdannotot 10.2;
    format totqd 10.2;
run;

proc print data = polizzebyeta (obs=10) noobs;
    var eta totfreqsin totdannomed totqd totespo;
run;

proc sgplot data=polizze;
    vline eta / response=freqsin weight=espo stat=mean limitstat=clm alpha = .05;
    yaxis min = 0.05 max = 0.30;
run;

proc sgplot data=polizze_sin;
    vline eta / response=dannomedio weight=nsin stat=mean limitstat=clm alpha = .05;
    yaxis min = 0 max = 8000;
run;

2) Cluster Analysis

2.1. Prov

proc cluster method = ward data = polizzebyprov outtree = clusterprov print = 5;
    id prov;
    var totfreqsin;
    freq totespo;
    copy totespo totnsin totdannotot totdannomed;
run;

The CLUSTER Procedure

Ward's Minimum Variance Cluster Analysis

Eigenvalues of the Covariance Matrix
	Eigenvalue	Difference	Proportion	Cumulative
1	0.00040350		1.0000	1.0000

Root-Mean-Square Total-Sample Standard Deviation	0.020087

Root-Mean-Square Distance Between Observations	0.028408

Cluster History
Number of Clusters	Clusters Joined		Freq	Semipartial R-Square	R-Square	Tie
5	CL16	CL10	9515	0.0285	.917
4	CL11	CL8	52015	0.0528	.864
3	CL6	CL7	61702	0.0656	.798
2	CL5	CL4	61530	0.2080	.590
1	CL2	CL3	123232	0.5902	.000

/* clusterprov contiene una riga per ogni passo della procedura di clustering */
proc print data = clusterprov (obs = 10);
run;

Con 12 cluster arrivo a $R^2 ≥ 0.99$

proc tree data = clusterprov nclusters = 12 out = prov12cl noprint;
    id prov;
    copy totespo totnsin totdannotot totfreqsin totdannomed;
run;

/* Assegno San Marino al cluster 12, che è quello con la frequenza sinistri più bassa */
data prov12cl;
  set prov12cl;
  if prov='RSM' then cluster=12;
run;

/* prov12cl contiene tante righe quante sono le province e indica di ogni provincia a quale cluster appartiene */
proc print data = prov12cl (obs = 10);
run;

/* polizzebyclusterprov contiene una riga per ogni cluster e indica di ogni cluster una serie di informazioni */
proc means data = prov12cl nway noprint;
    class cluster;
    var totespo totnsin totdannotot;
    output out = polizzebyclusterprov sum = totespocl totnsincl totdannototcl;
run;

data polizzebyclusterprov;
    set polizzebyclusterprov;
    
    totfreqsincl = totnsincl / totespocl;
    if totnsincl > 0 then totdannomedcl = totdannototcl / totnsincl;
        else totdannomedcl = 0;
    totqdcl = totdannototcl / totespocl;
    
    drop _type_;
    rename _FREQ_ = numprov;
    
    format totfreqsincl 5.3;
    format totespocl 10.2;
    format totdannototcl 10.2;
    format totqdcl 10.2;
run;

proc print data = polizzebyclusterprov;
run;

proc sort data = prov12cl;
    by cluster;
run;

/* Arricchisco il dataset prov12cl con le informazioni dei cluster a cui ogni provincia appartiene appartengono */
data prov12cl;
    merge prov12cl polizzebyclusterprov;
    by cluster;
run;

proc print data = prov12cl (obs = 10);
run;

proc sgplot data = prov12cl;
    scatter x = totfreqsin y = totdannomed / group = cluster markerattrs=(symbol=CircleFilled);
run;

2.2. eta

proc means data = polizze nway noprint;
    class eta;
    var espo nsin dannotot;
    output out = polizzebyeta sum = totespo totnsin totdannotot;
run;

data polizzebyeta;
    set polizzebyeta;
    
    totfreqsin = totnsin/totespo;
    if totnsin>0 then totdannomed = totdannotot/totnsin;
        else totdannomed = 0;
    totqd = totdannotot / totespo;
        
    drop _TYPE_;
    rename _FREQ_ = totnpol;
run;

proc print data = polizzebyeta (obs = 10) noobs;
    var eta totfreqsin totdannomed totqd totespo;
run;

proc sgplot data = polizzebyeta;
    scatter x = eta y = totfreqsin / markerattrs=(symbol=CircleFilled);
    series x = eta y = totfreqsin;
run;

/* Preraggruppamento */
proc format;
    value formateta
        low-22 = "18-22"
        23-24 = "23-24"
        25-26 = "25-26"
        27-30 = "27-30"
        31-34 = "31-34"
        35-43 = "35-43"
        44-51 = "44-51"
        52-60 = "52-60"
        61-64 = "61-64"
        65-69 = "65-69"
        70-81 = "70-81"
        82-high = "82-";
run;

data polizzebyeta;
    set polizzebyeta;
    leveleta = eta;
    format leveleta formateta.;
run;

/* Calcolo le informazioni a livello di ogni gruppo */
proc means data = polizzebyeta nway noprint;
    class leveleta;
    var eta totfreqsin;
    weight totespo;
    output out = polizzebyleveleta1 mean = etamed totfreqsinmed;
run;

proc means data = polizzebyeta nway noprint;
    class leveleta;
    var totespo totnsin totdannotot totnpol;
    output out = polizzebyleveleta2 sum = totespo totnsin totdannotot totnpol;
run;

data polizzebyleveleta;
    merge polizzebyleveleta1 polizzebyleveleta2;
    by leveleta;
    drop _type_ _freq_;
run;

/* Standardizzo eta e freqsin in modo da poterle usare assieme per l'accorpamento */
proc standard data = polizzebyleveleta out = polizzebyleveletastd mean = 0 std = 1;
    weight totespo;
    var etamed totfreqsinmed;
run;

data polizzebyleveletastd;
    set polizzebyleveletastd;
    format etamed 8.4;
    format totfreqsinmed 8.4;
run;

data polizzebyleveletastd;
    set polizzebyleveletastd;
    rename totfreqsinmed = totfreqsinmedstd;
    rename etamed = etamedstd;
run;

data polizzebyleveleta;
    merge polizzebyleveleta polizzebyleveletastd;
    by leveleta;
run;

proc print data = polizzebyleveleta;
run;

/* Effettuo il clustering usando sia etamedstd che totfreqsinmedstd */
proc cluster method = ward data = polizzebyleveleta outtree = clustereta;
    id leveleta;
    var etamedstd totfreqsinmedstd;
    freq totespo;
    copy totespo totnsin totdannotot etamed totfreqsinmed;
run;

The CLUSTER Procedure

Ward's Minimum Variance Cluster Analysis

Eigenvalues of the Covariance Matrix
	Eigenvalue	Difference	Proportion	Cumulative
1	0.00012676	0.00007507	0.7103	0.7103
2	0.00005169		0.2897	1.0000

Root-Mean-Square Total-Sample Standard Deviation	0.009446

Root-Mean-Square Distance Between Observations	0.018892

Cluster History
Number of Clusters	Clusters Joined		Freq	Semipartial R-Square	R-Square	Tie
11	61-64	65-69	11195	0.0011	.999
10	70-81	82-	5292	0.0014	.997
9	23-24	25-26	11097	0.0043	.993
8	27-30	31-34	26045	0.0089	.984
7	CL11	CL10	16487	0.0090	.975
6	44-51	52-60	38229	0.0145	.961
5	CL8	35-43	51416	0.0394	.921
4	18-22	CL9	17144	0.0621	.859
3	CL6	CL7	54716	0.0694	.790
2	CL5	CL3	106132	0.2665	.523
1	CL4	CL2	123276	0.5234	.000

Con 9 cluster arrivo a $R^2 ≥ 0.99$

proc tree data = clustereta nclusters = 9 out = cluster9eta noprint;
    id leveleta;
    copy totespo totnsin totdannotot etamed totfreqsinmed;
run;

/* cluster9eta contiene tante righe quanti erano i cluster nel preraggruppamento manuale */
proc print data = cluster9eta;
run;

/* polizzebyclustereta contiene una riga per ogni cluster e indica di ogni cluster una serie di informazioni */
proc means data = cluster9eta nway noprint;
    class cluster;
    var totespo totnsin totdannotot;
    output out = polizzebyclustereta sum = totespocl totnsincl totdannototcl;
run;

data polizzebyclustereta;
    set polizzebyclustereta;
    
    totfreqsincl = totnsincl/totespocl;
    if totnsincl>0 then totdannomedcl = totdannototcl/totnsincl;
        else totdannomedcl = 0;
    totqdcl = totdannototcl / totespocl;
    
    drop _type_;
    
    format totfreqsincl 5.3;
    format totespocl 10.2;
    format totdannototcl 10.2;
    format totqdcl 10.2;
run;

proc print data = polizzebyclustereta;
run;

proc sort data = cluster9eta;
    by cluster;
run;

/* Arricchisco il dataset cluster9eta con le informazioni dei cluster a cui ogni gruppo appartiene appartengono */
data cluster9eta;
    merge cluster9eta polizzebyclustereta;
    by cluster;
run;

proc print data = cluster9eta;
run;

2.3 potf

proc means data = polizze nway noprint;
    class potf;
    var espo nsin dannotot;
    output out=polizzebypotf sum=totespo totnsin totdannotot;
run;

data polizzebypotf;
    set polizzebypotf;
    
    totfreqsin = totnsin / totespo;
    if totnsin > 0 then totdannomed = totdannotot / totnsin;
        else totdannomed = 0;
    totqd = totdannotot / totespo;
        
    drop _TYPE_;
    rename _FREQ_ = totnpol;
run;

proc print data = polizzebypotf (obs = 10) noobs;
    var potf totfreqsin totdannomed totqd totespo;
run;

proc sgplot data = polizzebypotf;
    scatter x = potf y = totfreqsin / markerattrs=(symbol=CircleFilled);
    series x = potf y = totfreqsin;
run;

/* Preraggruppamento */
proc format;
    value formatpotf
        low-13 = "8-13"
        14-15 = "14-15"
        16 = "16"
        17-21 = "17-21"
        22-23 = "22-23"
        24-26 = "24-26"
        27-28 = "27-28"
        29-30 = "29-30"
        31-high = "31-";
run;

data polizzebypotf;
    set polizzebypotf;
    levelpotf = potf;
    format levelpotf formatpotf.;
run;

/* Calcolo le informazioni a livello di ogni gruppo */
proc means data = polizzebypotf nway noprint;
    class levelpotf;
    var potf totfreqsin;
    weight totespo;
    output out = polizzebylevelpotf1 mean = potfmed totfreqsinmed;
run;

proc means data = polizzebypotf nway noprint;
    class levelpotf;
    var totespo totnsin totdannotot totnpol;
    output out = polizzebylevelpotf2 sum = totespo totnsin totdannotot totnpol;
run;

data polizzebylevelpotf;
    merge polizzebylevelpotf1 polizzebylevelpotf2;
    by levelpotf;
    drop _type_ _freq_;
run;

/* Standardizzo potf e freqsin in modo da poterle usare assieme per l'accorpamento */
proc standard data = polizzebylevelpotf out = polizzebylevelpotfstd mean = 0 std = 1;
    weight totespo;
    var potfmed totfreqsinmed;
run;

data polizzebylevelpotfstd;
    set polizzebylevelpotfstd;
    format potfmed 8.4;
    format totfreqsinmed 8.4;
run;

data polizzebylevelpotfstd;
    set polizzebylevelpotfstd;
    rename totfreqsinmed = totfreqsinmedstd;
    rename potfmed = potfmedstd;
run;

data polizzebylevelpotf;
    merge polizzebylevelpotf polizzebylevelpotfstd;
    by levelpotf;
run;

proc print data = polizzebylevelpotf;
run;

/* Effettuo il clustering usando sia potfmedstd che totfreqsinmedstd */
proc cluster method = ward data = polizzebylevelpotf outtree = clusterpotf;
    id levelpotf;
    var potfmedstd totfreqsinmedstd;
    freq totespo;
    copy totespo totnsin totdannotot potfmed totfreqsinmed;
run;

The CLUSTER Procedure

Ward's Minimum Variance Cluster Analysis

Eigenvalues of the Covariance Matrix
	Eigenvalue	Difference	Proportion	Cumulative
1	0.00011638	0.00010301	0.8970	0.8970
2	0.00001337		0.1030	1.0000

Root-Mean-Square Total-Sample Standard Deviation	0.008054

Root-Mean-Square Distance Between Observations	0.016109

Cluster History
Number of Clusters	Clusters Joined		Freq	Semipartial R-Square	R-Square	Tie
8	27-28	29-30	154	0.0001	1.00
7	CL8	31-	257	0.0011	.999
6	24-26	CL7	468	0.0051	.994
5	14-15	16	30729	0.0168	.977
4	17-21	CL6	38263	0.0292	.948
3	CL5	CL4	68992	0.1028	.845
2	CL3	22-23	70821	0.2078	.637
1	8-13	CL2	123279	0.6371	.000

Con 6 cluster arrivo a $R^2 ≥ 0.99$

proc tree data = clusterpotf nclusters = 6 out = cluster6potf noprint;
    id levelpotf;
    copy totespo totnsin totdannotot potfmed totfreqsinmed;
run;

/* cluster6potf contiene tante righe quanti erano i cluster nel preraggruppamento manuale */
proc print data = cluster9eta;
run;

/* polizzebyclusterpotf contiene una riga per ogni cluster e indica di ogni cluster una serie di informazioni */
proc means data = cluster6potf nway noprint;
    class cluster;
    var totespo totnsin totdannotot;
    output out = polizzebyclusterpotf sum = totespocl totnsincl totdannototcl;
run;

data polizzebyclusterpotf;
    set polizzebyclusterpotf;
    
    totfreqsincl = totnsincl / totespocl;
    if totnsincl > 0 then totdannomedcl = totdannototcl / totnsincl;
        else totdannomedcl = 0;
    totqdcl = totdannototcl / totespocl;
    
    drop _type_;
    
    format totfreqsincl 5.3;
    format totespocl 10.2;
    format totdannototcl 10.2;
    format totqdcl 10.2;
run;

proc print data = polizzebyclusterpotf;
run;

proc sort data = cluster6potf;
    by cluster;
run;

/* Arricchisco il dataset cluster9eta con le informazioni dei cluster a cui ogni gruppo appartiene appartengono */
data cluster6potf;
    merge cluster6potf polizzebyclusterpotf;
    by cluster;
run;

proc print data = cluster6potf;
run;

2.4 potkil

proc means data = polizze nway noprint;
    class potkil;
    var espo nsin dannotot;
    output out = polizzebypotkil sum = totespo totnsin totdannotot;
run;

data polizzebypotkil;
    set polizzebypotkil;
    
    totfreqsin = totnsin / totespo;
    if totnsin > 0 then totdannomed = totdannotot / totnsin;
        else totdannomed = 0;
    totqd = totdannotot / totespo;
        
    drop _TYPE_;
    rename _FREQ_ = totnpol;
run;

proc print data = polizzebypotkil (obs = 10) noobs;
    var potkil totfreqsin totdannomed totqd totespo;
run;

proc sgplot data = polizzebypotkil;
    scatter x = potkil y = totfreqsin / markerattrs=(symbol=CircleFilled);
    series x = potkil y = totfreqsin;
run;

/* Preraggruppamento */
proc format;
    value formatpotkil
        low-26 = "17-26"
        27-33 = "27-33"
        34-39 = "34-39"
        40-49 = "40-49"
        50-57 = "50-57"
        58-65 = "58-65"
        66-78 = "66-78"
        79-92 = "79-92"
        93-108 = "93-108"
        109-123 = "109-123"
        124-139 = "124-139"
        140-143 = "140-143"
        144-150 = "144-150"
        151-high = "151-";
run;

data polizzebypotkil;
    set polizzebypotkil;
    levelpotkil = potkil;
    format levelpotkil formatpotkil.;
run;

/* Calcolo le informazioni a livello di ogni gruppo */
proc means data = polizzebypotkil nway noprint;
    class levelpotkil;
    var potkil totfreqsin;
    weight totespo;
    output out = polizzebylevelpotkil1 mean = potkilmed totfreqsinmed;
run;

proc means data = polizzebypotkil nway noprint;
    class levelpotkil;
    var totespo totnsin totdannotot totnpol;
    output out = polizzebylevelpotkil2 sum = totespo totnsin totdannotot totnpol;
run;

data polizzebylevelpotkil;
    merge polizzebylevelpotkil1 polizzebylevelpotkil2;
    by levelpotkil;
    drop _type_ _freq_;
run;

/* Standardizzo potkil e freqsin in modo da poterle usare assieme per l'accorpamento */
proc standard data = polizzebylevelpotkil out = polizzebylevelpotkilstd mean = 0 std = 1;
    weight totespo;
    var potkilmed totfreqsinmed;
run;

data polizzebylevelpotkilstd;
    set polizzebylevelpotkilstd;;
    format potkilmed 8.4;
    format totfreqsinmed 8.4;
run;

data polizzebylevelpotkilstd;
    set polizzebylevelpotkilstd;
    rename totfreqsinmed = totfreqsinmedstd;
    rename potkilmed = potkilmedstd;
run;

data polizzebylevelpotkil;
    merge polizzebylevelpotkil polizzebylevelpotkilstd;
    by levelpotkil;
run;

proc print data = polizzebylevelpotkil;
run;

/* Effettuo il clustering usando sia potkilmedstd che totfreqsinmedstd */
proc cluster method = ward data = polizzebylevelpotkil outtree = clusterpotkil;
    id levelpotkil;
    var potkilmedstd totfreqsinmedstd;
    freq totespo;
    copy totespo totnsin totdannotot potkilmed totfreqsinmed;
run;

The CLUSTER Procedure

Ward's Minimum Variance Cluster Analysis

Eigenvalues of the Covariance Matrix
	Eigenvalue	Difference	Proportion	Cumulative
1	0.00017512	0.00013937	0.8305	0.8305
2	0.00003575		0.1695	1.0000

Root-Mean-Square Total-Sample Standard Deviation	0.010268

Root-Mean-Square Distance Between Observations	0.020537

Cluster History
Number of Clusters	Clusters Joined		Freq	Semipartial R-Square	R-Square	Tie
13	140-143	144-150	266	0.0003	1.00
12	27-33	34-39	34716	0.0010	.999
11	109-123	124-139	1845	0.0011	.998
10	79-92	93-108	13107	0.0112	.986
9	58-65	66-78	22255	0.0132	.973
8	40-49	50-57	40415	0.0156	.958
7	CL11	151-	2381	0.0196	.938
6	CL10	CL13	13373	0.0269	.911
5	17-26	CL12	44851	0.0337	.877
4	CL9	CL6	35628	0.0378	.840
3	CL4	CL7	38009	0.0874	.752
2	CL5	CL8	85266	0.1589	.593
1	CL2	CL3	123275	0.5932	.000

Con 11 cluster arrivo a $R^2 ≥ 0.99$

proc tree data = clusterpotkil nclusters = 11 out = cluster11potkil noprint;
    id levelpotkil;
    copy totespo totnsin totdannotot potkilmed totfreqsinmed;
run;

/* cluster11potkil contiene tante righe quanti erano i cluster nel preraggruppamento manuale */
proc print data = cluster11potkil;
run;

/* polizzebyclusterpotkil contiene una riga per ogni cluster e indica di ogni cluster una serie di informazioni */
proc means data = cluster11potkil nway noprint;
    class cluster;
    var totespo totnsin totdannotot;
    output out = polizzebyclusterpotkil sum = totespocl totnsincl totdannototcl;
run;

data polizzebyclusterpotkil;
    set polizzebyclusterpotkil;
    
    totfreqsincl = totnsincl/totespocl;
    if totnsincl > 0 then totdannomedcl = totdannototcl / totnsincl;
        else totdannomedcl = 0;
    totqdcl = totdannototcl / totespocl;
    
    drop _type_;
    
    format totfreqsincl 5.3;
    format totespocl 10.2;
    format totdannototcl 10.2;
    format totqdcl 10.2;
run;

proc print data = polizzebyclusterpotkil;
run;

proc sort data = cluster11potkil;
    by cluster;
run;

/* Arricchisco il dataset cluster11potkil con le informazioni dei cluster a cui ogni gruppo appartiene appartengono */
data cluster11potkil;
    merge cluster11potkil polizzebyclusterpotkil;
    by cluster;
run;

proc print data = cluster11potkil;
run;

2.5 massa

proc means data = polizze nway noprint;
    class massa;
    var espo nsin dannotot;
    output out = polizzebymassa sum = totespo totnsin totdannotot;
run;

data polizzebymassa;
    set polizzebymassa;

    totfreqsin = totnsin / totespo;
    if totnsin > 0 then totdannomed = totdannotot / totnsin;
        else totdannomed = 0;
    totqd = totdannotot / totespo;

    drop _TYPE_;
    rename _FREQ_ = totnpol;
run;

proc print data = polizzebymassa (obs = 10) noobs;
    var massa totfreqsin totdannomed totqd totespo;
run;

proc sgplot data = polizzebymassa;
    scatter x = massa y = totfreqsin / markerattrs=(symbol=CircleFilled);
    series x = massa y = totfreqsin;
run;

/* Preraggruppamento */
proc format;
    value formatmassa
        low-691 = "555-691"
        692-720 = "692-720"
        721-800 = "721-800"
        801-905 = "801-905"
        906-980 = "906-980"
        981-1030 = "981-1030"
        1031-1094 = "1031-1094"
        1095-1269 = "1095-1269"
        1270-1379 = "1270-1379"
        1380-1424 = "1380-1424"
        1425-1520 = "1425-1520"
        1521-high = "1521-";
run;

data polizzebymassa;
    set polizzebymassa;
    levelmassa = massa;
    format levelmassa formatmassa.;
run;

/* Calcolo le informazioni a livello di ogni gruppo */
proc means data = polizzebymassa nway noprint;
    class levelmassa;
    var massa totfreqsin;
    weight totespo;
    output out = polizzebylevelmassa1 mean = massamed totfreqsinmed;
run;

proc means data = polizzebymassa nway noprint;
    class levelmassa;
    var totespo totnsin totdannotot totnpol;
    output out = polizzebylevelmassa2 sum = totespo totnsin totdannotot totnpol;
run;

data polizzebylevelmassa;
    merge polizzebylevelmassa1 polizzebylevelmassa2;
    by levelmassa;
    drop _type_ _freq_;
run;

/* Standardizzo massa e freqsin in modo da poterle usare assieme per l'accorpamento */
proc standard data = polizzebylevelmassa out = polizzebylevelmassastd mean = 0 std = 1;
    weight totespo;
    var massamed totfreqsinmed;
run;

data polizzebylevelmassastd;
    set polizzebylevelmassastd;
    rename totfreqsinmed = totfreqsinmedstd;
    rename massamed = massamedstd;
run;

data polizzebylevelmassa;
    merge polizzebylevelmassa polizzebylevelmassastd;
    by levelmassa;
run;

proc print data = polizzebylevelmassastd;
run;

/* Effettuo il clustering usando sia massamedstd che totfreqsinmedstd */
proc cluster method = ward data = polizzebylevelmassa outtree = clustermassa;
    id levelmassa;
    var massamedstd totfreqsinmedstd;
    freq totespo;
    copy totespo totnsin totdannotot massamed totfreqsinmed;
run;

The CLUSTER Procedure

Ward's Minimum Variance Cluster Analysis

Eigenvalues of the Covariance Matrix
	Eigenvalue	Difference	Proportion	Cumulative
1	0.00014846	0.00011849	0.8320	0.8320
2	0.00002998		0.1680	1.0000

Root-Mean-Square Total-Sample Standard Deviation	0.009446

Root-Mean-Square Distance Between Observations	0.018891

Cluster History
Number of Clusters	Clusters Joined		Freq	Semipartial R-Square	R-Square	Tie
11	981-1030	1031-1094	18998	0.0016	.998
10	1095-1269	1270-1379	20806	0.0083	.990
9	1425-1520	1521-	2213	0.0108	.979
8	801-905	906-980	32071	0.0114	.968
7	555-691	692-720	21586	0.0143	.954
6	CL10	1380-1424	21858	0.0217	.932
5	CL11	CL6	40856	0.0490	.883
4	CL7	721-800	48135	0.0627	.820
3	CL5	CL9	43069	0.1295	.691
2	CL8	CL3	75140	0.1453	.545
1	CL4	CL2	123275	0.5455	.000

Con 10 cluster arrivo a $R^2 ≥ 0.99$

proc tree data = clustermassa nclusters = 10 out = cluster10massa noprint;
    id levelmassa;
    copy totespo totnsin totdannotot massamed totfreqsinmed;
run;

/* cluster10massa contiene tante righe quanti erano i cluster nel preraggruppamento manuale */
proc print data = cluster10massa;
run;

/* polizzebyclustereta contiene una riga per ogni cluster e indica di ogni cluster una serie di informazioni */
proc means data = cluster10massa nway noprint;
    class cluster;
    var totespo totnsin totdannotot;
    output out = polizzebyclustermassa sum = totespocl totnsincl totdannototcl;
run;

data polizzebyclustermassa;
    set polizzebyclustermassa;
    
    totfreqsincl = totnsincl / totespocl;
    if totnsincl > 0 then totdannomedcl = totdannototcl / totnsincl;
        else totdannomedcl = 0;
    totqdcl = totdannototcl / totespocl;   
        
    drop _type_;
    
    format totfreqsincl 5.3;
    format totespocl 10.2;
    format totdannototcl 10.2;
    format totqdcl 10.2;
run;

proc print data = polizzebyclustermassa;
run;

proc sort data = cluster10massa;
    by cluster;
run;

/* Arricchisco il dataset cluster9eta con le informazioni dei cluster a cui ogni gruppo appartiene appartengono */
data cluster10massa;
    merge cluster10massa polizzebyclustermassa;
    by cluster;
run;

proc print data = cluster10massa;
run;

Assegnazione formati

/* prov */
proc format;
    value $classprov
        "RC","VT","CN","OR","RA","VC","FE","LC","SS","VV","BZ","PV","RG","CH","PG","AR","TE","TN","VR" = "prov1"
        "BN","PO","IM","BA" = "prov2"
        "EN","NO","SV","VI","MC","MT","RE","BS","RI","AG","AV","PC" = "prov3"
        "AL","SO","GO","LT","PR","PN","GR","UD","TV","PD" = "prov4"
        "SI","TR","AP","LO","FG","ME","LU","CZ","FR","CT","VE","BG","IS","MO","TP" = "prov5"
        "CL","PI","VA","BR","FO","LI","SR","CO","SA" = "prov6"
        "LE","RN","AN","MS","BO","GE","TS" = "prov7"
        "CB","FI","NU","PE","TO","MI" = "prov8"
        "PT","TA","SP","CA","ROMA","PA" = "prov9"
        "BL","PZ","BI","CR","CS","AT","MN","PS" = "prov10"
        "AO","NA","CE","KR" = "prov11"
        "AQ","RSM","VB","RO" = "prov12";
run;

/* eta */
proc format;
    value classeta
        low-22 = "18-22"
        23-26 = "23-26"
        27-30 = "27-30"
        31-34 = "31-34"
        35-43 = "35-43"
        44-51 = "44-51"
        52-60 = "52-60"
        61-69 = "61-69"
        70-high = "70-";
run;

/* potf */
proc format;
    value classpotf
        low-13 = "8-13"
        14-15 = "14-15"
        16 = "16"
        17-21 = "17-21"
        22-23 = "22-23"
        24-26 = "24-26"
        27-28 = "27-28"
        29-30 = "29-30"
        31-high = "31-";
run;

/* potkil */
proc format;
    value classpotkil
        low-26 = "17-26"
        27-33 = "27-33"
        34-39 = "34-39"
        40-49 = "40-49"
        50-57 = "50-57"
        58-65 = "58-65"
        66-78 = "66-78"
        79-92 = "79-92"
        93-108 = "93-108"
        109-123 = "109-123"
        124-139 = "124-139"
        140-143 = "140-143"
        144-150 = "144-150"
        151-high = "151-";
run;

/* massa */
proc format;
    value classmassa
        low-691 = "555-691"
        692-720 = "692-720"
        721-800 = "721-800"
        801-905 = "801-905"
        906-980 = "906-980"
        981-1030 = "981-1030"
        1031-1094 = "1031-1094"
        1095-1269 = "1095-1269"
        1270-1379 = "1270-1379"
        1380-1424 = "1380-1424"
        1425-1520 = "1425-1520"
        1521-high = "1521-";
run;

/* Assegno i formati */
data polizze;
    set polizze;
    
    format prov $classprov.;
    format eta classeta.;
    format potf classpotf.;
    format potkil classpotkil.;
    format massa classmassa.;
run;

proc print data = polizze (obs = 10);
run;

Frequenza sinistri nei cluster

/* prov */
proc sgplot data=polizze;
    vline prov / response=freqsin weight=espo stat=mean limitstat=clm alpha = .05;
run;

/* eta */
proc sgplot data=polizze;
    vline eta / response=freqsin weight=espo stat=mean limitstat=clm alpha = .05;
run;

/* potf */
proc sgplot data=polizze;
    vline potf / response=freqsin weight=espo stat=mean limitstat=clm alpha = .05;
run;

/* potkil */
proc sgplot data=polizze;
    vline potkil / response=freqsin weight=espo stat=mean limitstat=clm alpha = .05;
run;

/* massa */
proc sgplot data=polizze;
    vline massa / response=freqsin weight=espo stat=mean limitstat=clm alpha = .05;
run;

3) Tariffazione con i GLM

3.A.1 Modelli per il numero di sinistri

Preparazione dei dati

/* Dataset per modelli con dati individuali */
data polizze;
    set polizze;
    lnespo = log(espo);
    freqsin = nsin / espo;
run;


/* Dataset per modelli con dati raggruppati */
proc means data = polizze nway noprint;
    class sesso capoluogo bendie prov eta potf potkil massa;
    var espo nsin dannotot;
    output out = polizzecum sum = espocum nsincum dannototcum;
run;

data polizzecum;
    set polizzecum;
    lnespocum = log(espocum);
    freqsincum = nsincum / espocum;
run;

proc print data = polizzecum (obs = 10);
run;

/* Il dataset polizzecum ha 26 249 righe */
proc summary data = polizzecum;
    output out = conta_righe;
run;

proc print data = conta_righe;
run;

3.A.1.1 Modello di Poisson

/* Dati individuali, eta */
proc genmod data = polizze;
    class eta(ref='35-43');
    model nsin = eta /
        dist = poisson
        offset = lnespo
        type3;
run;

/* Dati raggruppati, eta */
proc genmod data = polizzecum;
    class eta(ref='35-43');
    model nsincum = eta /
        dist = poisson
        offset = lnespocum
        type3;
run;

proc genmod data = polizzecum;
    class eta(ref='35-43') potkil(ref='66-78');
    model nsincum = eta potkil /
        dist = poisson
        offset = lnespocum
        type3;
run;

proc genmod data = polizzecum;
    class eta(ref='35-43') potkil(ref='66-78') massa(ref='906-980');
    model nsincum = eta potkil massa /
        dist = poisson
        offset = lnespocum
        type3;
run;